Omni-Embed-Mini：通过稠密蒸馏绑定模态而不遗忘
🧭 多模态嵌入蒸馏与对齐
Mohamed Bin Zayed University of Artificial Intelligence
0.9B 参数多模态嵌入模型，冻结文本塔、用稠密 caption 自身嵌入作教师，在不退化文本检索下对齐六模态
📌 工作参考价值（5 点）
- 多模态向量召回：把商品图片、视频、ASR 文案、详情页等映射到同一余弦空间，可实现自然语言 query 直接检索图片/视频/富文档，直接用于电商搜索、广告创意匹配、内容推荐。
- 冻结文本塔防退化：现有文本 embedding 服务（如商品描述召回）扩展多模态时，可完全冻结文本编码器，只对非文本模态编码器加轻量 projector 和 phased LoRA，避免线上文本检索指标下滑，工程上更安全。
- 用稠密 caption 做教师信号：用多模态 LLM 离线为图片/视频/音频批量生成 dense caption，再以文本塔 embed caption 作为学生对齐目标，无需单独训练教师模型，成本低且几何空间天然一致。
- 在线混合 hard negative miner：随着 encoder 更新逐步 sharpen 负样本，可结合 ANN 检索召回困难负样本，提升对比学习区分度，适合电商多模态检索中的难例挖掘。
- 0.9B 小模型即可覆盖六模态，2.3B 变体接近闭源 gemini-embedding-2，适合业务落地部署。
微信多模态 Embedding 技术报告：WeMM-Embedding 家族
🧭 多模态表征学习 · 通用 Embedding ★ 深度解读
WeChat Vision, Tencent Inc.
2B/4B/9B 通用多模态 embedding 家族，两阶段训练与蒸馏在 MMEB-v2 达 80.6 SOTA，并大规模落地微信推荐搜索
📌 工作参考价值（4 点）
- 通用多模态 item embedding 直接复用：商品/视频/图文内容统一走 <embedding> 末 token 出向量，可在召回、排序特征、用户序列建模、跨域理解中复用；视频场景可一次前向同时拿到“视频帧-only”和“视频+ASR文本”两种表示，适配不同召回通道。
- 多任务 pair 统一格式优于分开训练：把搜索 query、商品详情、内容描述、分类标签、点击/转化分级相关统一成 (instruction, source, target, hard_negatives, relevance)，用 task-consistent batch 和 duplicate-aware masking，能显著提升 in-batch negatives 质量；该技巧可直接迁移到电商搜索/推荐 embedding 训练。
- 用 Semantic ID 做数据平衡和难负例挖掘：对 pair 表示做 RQ-KMeans 得到三层语义 ID，按频次降采样高频语义、保留长尾，配合 MLLM 质量过滤和检索难负例，特别适合缓解电商长尾商品和新品冷启动；MRL 输出 256/512 维可降低向量索引成本，同时保留 97% 以上性能。
- 蒸馏策略可压缩学生模型：2B/4B 用 9B teacher 的 batch 内双向相似度分布做 KL 蒸馏，不像 one-hot 对比损失那么硬，能高效传递细粒度关系；在广告/推荐小模型迭代时可用此方法把大模型能力压到线上可部署尺寸。
抖音多模态嵌入：兼顾效率与细粒度的语义充分性学习
🧭 多模态检索 · 语义充分性 ★ 深度解读
ByteDance Douyin Search Multimodal Team · Renmin University of China GSAI
通过隐证据推理与跨条件重构，使 bi-encoder 嵌入兼具细粒度语义充分性，在 MMEB-v2 和抖音搜索中取得显著增益
📌 工作参考价值（4 点）
- 两阶段训练范式：第一阶段大规模异构对比学习建立统一多模态空间，第二阶段用高质量数据 + 教师监督做语义充分性微调，可直接迁移到电商多模态搜索（商品图文视频检索）的模型升级路径。
- 隐式证据推理：通过少量 anchor tokens 定位证据区域、类型化隐状态（localize/align/ reject）组织推理，完全在隐藏空间完成，不产生显式 CoT 文本，保持在线召回低延迟，可用于电商 query 理解中的隐式意图定位与证据提取。
- 跨条件重构监督：利用 NTP/MTP 让 query 嵌入解码商品文本，反之亦然，提供 token 级细粒度监督，可强化搜索相关性建模，尤其适合电商场景中 query 与商品详情之间语义细节的精确匹配。
- 语义充分性度量：通过 teacher forcing 的 Top‑K 准确率量化嵌入的信息完整性，可替代或补充传统召回指标，作为模型优化和迭代的可靠中间信号。
序列推荐中大型多模态嵌入模型的流感知侧适配
🧭 序列推荐 · 多模态大模型侧适配
University of Glasgow · Telefónica Scientific Research, Telefónica Innovación Digital · Shandong University
提出流感知侧适配框架Stresa，用SHAF保留历史记忆和ReSA选择性残差更新，根治深层侧适配退化
📌 工作参考价值（4 点）
- 使用预训练多模态大模型（如商品图文）得到通用语义嵌入，再用侧适配器调整到推荐域，可避免全量微调，大幅降低训练成本，适合电商快速迭代。
- SHAF 和 ReSA 可插拔于任何冻结的 Transformer 骨干，深层适配不再退化，能有效利用中间层隐藏状态提升序列建模。
- 流感知融合保留历史侧信息，适合商品交互序列中长短期偏好捕捉，可迁移到点击率预估等任务。
- 侧适配器计算量极小，易于线上部署，且支持热插拔更换下游任务，适合多场景复用同一多模态基座。
UniNote：面向多模态 I2I 检索的统一嵌入与排序模型
🧭 多模态嵌入 · 统一检索排序框架 ★ 深度解读
Xiaohongshu Inc. · Shanghai Jiao Tong University · Huazhong University of Science and Technology · Beijing Institute of Technology
提出两阶段训练范式，将对比 SFT 与 GRPO 强化学习结合，实现多模态 I2I 检索与相关性排序一体化
📌 工作参考价值（4 点）
- 多任务统一嵌入构建：将 I2I 检索细化为 10 种具体任务（原子对齐、局部检索、OCR 感知等），通过模态替换与描述生成构造训练对，可直接借鉴用于电商商品多模态检索的统一 embedding 模型。
- 两阶段训练解锁检索-排序一体化：第一阶段用对比 SFT + 多粒度硬负样本挖掘（相似度区间设置 + 规则负样本）训练基础嵌入，第二阶段用 GRPO 多维度奖励（无关惩罚、基础奖励、绝对/相对位置奖励）直接在嵌入空间优化排序，省去额外重排序模型，适合对延迟敏感的线上召回。
- MRL 实现灵活部署：训练时融入 Matryoshka Loss，可输出 64/512/1024/4096 维嵌入，512 维已接近全维性能，为不同存储与算力约束的工业场景提供按需降维的选择。
- 在线/离线双模式架构：高并发小库验证 + 低请求大库检索的部署设计，用一次嵌入同时支持多种下游匹配，大幅降低资源开销，可直接参考用于 Agent 或推荐系统中的实时物品检索。
Gemini Embedding 2：原生多模态统一嵌入模型
🧭 多模态统一嵌入 · 跨模态检索 ★ 深度解读
Google
基于 Gemini 构建的多模态统一嵌入模型，在文本/图像/视频/音频及交叉任务上达到 SOTA，并展现强零样本域泛化。
📌 工作参考价值（4 点）
- 原生多模态避免级联损失：音频直接编码方案比 ASR → 文本嵌入领先 +3.6 mrr@10，跨语言场景更达 +5.0。电商语音搜索（如智能客服、语音评论检索）可直接复用，省去 ASR 链路。
- 交织输入支持复杂搜索意图：模型可接受“图片+文本”或“视频片段+关键词”的组合 query，实现更精准的跨模态检索。在产品推荐中，用户可上传商品图加“类似款但更休闲”的文字，提升搜索命中。
- 多阶段多任务训练 + Model Soup 平衡通用与领域：PFT → FT → Model Soup 的配方可迁移至业务自有数据，少量领域数据 fine-tune 后通过 soup 恢复通用性，避免 Catastrophic Forgetting。适合电商垂直品类或 Agent 特定工具检索微调。
- MRL 多维度输出：单模型支持 768、1536、3072 维，实际部署可按成本/延迟选维度，无需重新训练。推荐系统可用低维向量做召回，高维做精准排序。